In der Folgezeit verliert die Burg, die lange Zeit in Verbindung mit dem
Mäuseturm im Rhein sowie einem unterhalb von Ehrenfels errichteten Zollhaus den Schiffsverkehr überwachte, immer mehr an Bedeutung, was sich auch in den nur spärlich vorhandenen Quellen des späten Mittelalters niederschlägt.
1631-35, während des 30-jährigen Krieges, wurde die Burg Ehrenfels immer wieder von schwedischen und kaiserlichen Truppen besetzt. Wie Abbildungen von 1638 und 1640 zeigen, blieb die Anlage offensichtlich von Schäden weitestgehend verschont. Das Zollhaus war zu diesem Zeitpunkt jedoch bereits zerstört. Dieses Schicksal ereilte die Burg erst 1689, nachdem die französischen Truppen Ludwigs XIV. sie planmäßig in Brand setzten.